【レポート】Mastering Kubernetes on AWS #reinvent #CON308

チャットボット特集

#Amazon ECS

#セッションレポート

#Kubernetes

#レポート

#AWS

望月政夫

2017.11.30

この記事は公開されてから1年以上経過しています。情報が古い可能性がありますので、ご注意ください。

はじめに

re:Invent2017のセッション「CON308 - Mastering Kubernetes on AWS」を聞いてきました。以下がセッションの概要です。

A lot of progress has been made on how to bootstrap a cluster since Kubernetes' first commit and is now only a matter of minutes to go from zero to a running cluster on Amazon Web Services. However, evolving a simple Kubernetes architecture to be ready for production in a large enterprise can quickly become overwhelming with options for configuration and customization.

In this session, Arun Gupta, Open Source Strategist for AWS and Raffaele Di Fazio, software engineer at leading European fashion platform Zalando, will show common practices for running Kubernetes on AWS and share insights from experience in operating tens of Kubernetes clusters in production on AWS. We will cover options and recommendations on how to install and manage clusters, configure high availability, perform rolling upgrades and handle disaster recovery, as well as continuous integration and deployment of applications, logging, and security.

本日朝のKeynoteで、AWSの提供するマネージドKubernetesであるElastic Container Service for Kubernetes(EKS)が発表されました。

【速報】AWSのマネージドKubernetesサービス、Elastic Container Service for Kubernetes(EKS)が発表されました！ #reinvent ｜ Developers.IO

その影響もあってか、セッション開始前はwaitinglistも含めて長蛇の列でした。期待通り、セッション内ではEKSに関する情報も少し出てきました。内容をレポートしたいと思います。

Kubernetesのセットアップはどうするのがベスト？

開発環境にはMinikube
KOPSを使って自前で作る
- kubernetes/kops: Kubernetes Operations (kops) - Production Grade K8s Installation, Upgrades, and Management
- CloudFormationかTerraformのテンプレートを生成する
EKS - Launched Today!
- 高可用KubernetesのマスターノードとetcdをAWS側で管理して提供
- 既存のECSと同様、ワーカーノードはユーザ側でEC2インスタンスを用意して起動する
- EKSではupstreamのKubernetesを利用する。Forkしたものではない！
- CLIではaws eks ~のような形となり、ECSとは独立したAPIが用意されている

Zalandoではどのようにしているのか

Zalandoの紹介
- ドイツに本社があるアパレルEC
- 2200万人の顧客、360万ユーロの売上、月間2億アクセス
もともとはオンプレでインフラを構築していたり、自前のプラットフォームを構築したりしていたが、低い集積率に苦しんでいた。そのあとAWS上にKubernetesを構築することで高い集積率と健全なインフラを構築することができた
KubernetesはCloudFormationを使ってデプロイしている
複数のAWSアカウントにKubernetesクラスタをデプロイしている。管理を効率化するためにいくつか仕組みを自作した
- Custom cluster registry : クラスタの設定情報を管理するためのRESTサーバ。
- Cluster Lifecycle Manager: 上述のCustom cluster registryをポーリングして設定値に変更がないかをチェックする。変更があった場合、その変更値をパラメータにCloudFormationをUpdateする

KubernetesでのCI/CD

JenkinsやAWS CodePipeline/CodeBuild、CircleCIなど選択肢は多数
CIのビルドフェーズでDockerイメージをbuildし、Docker HubやECRにDockerイメージをPushする
AWSの機能をフル活用したKubernetesへのデプロイ方法として、CodeBuildの最終フェーズでKubernetes Python SDKを使ってKubernetesにデプロイするLambda Functionをtriggerする、という方法もある。

IAM / 機密情報の管理

AWSでは通常認証認可にIAMを用いるが、Kubernetesではどうする？
- heptio/authenticator: A tool for using AWS IAM credentials to authenticate to a Kubernetes cluster : IAM Policyを利用してKubernetesの認証認可を行う
ECSでいうECS Task Roleのような仕組みはどうやって実現する?
- jtblin/kube2iam: kube2iam provides different AWS IAM roles for pods running on Kubernetes : kube2iamのDaemonSetを起動しておくことで、Podの代わりにEC2 metadata Serviceにアクセスしてくれる
その他、認証情報の管理にHashicorp Vaultを使うのも良い